大型语言模型（LLM）训练的核心基础设施是 GPU。现如今，其训练规模已达到数万块 GPU，并且仍在持续扩大。同时，训练大模型的时间也越来越长。例如，一个 405B 参数模型 LLaMA 3 的预训练，动用了 16,384 块 NVIDIA H100 GPU，

论文 豆包 字节 byterobust 2025-10-21 18:10  5